Rethinking Verification in Agent Harnesses
重新思考 Agent Harness 中的验证设计
🧭 Agent 验证设计与低成本 critic 扩展 ★ 深度解读
Cornell University · Alibaba Group
系统对比 17 种 agent 验证设计，独立低费 critic 带来 5.9–9.5pp 编码提升且成本仅 1.13–1.25×
📌 工作参考价值（4 点）
- 在电商 Agent 工作流（自动生成 SQL、商品文案、广告素材、数据分析报告）中，把最终验收拆给独立 critic，而不是让执行 agent 自查；critic 可用低成本模型，上下文只给任务要求和 diff/changes，不给完整轨迹，可降低 critic token 29–43% 且效果更稳。
- 对可视化/交互产物（如落地页、创意 Banner、可交互配置器），在 critic 指令中要求调用渲染/截图工具做视觉检查；VisualBench 显示 changes + visual inspection 净偏好最高（+23.8pp）。
- 用系统提示词注入简洁 verification instruction，并在每次代码/文件修改后插入 after-edit reminder，可作为低成本 default；但不要轻易使用完成时自我复查完成门，容易显著抬高成本。
- 如需继续 scale，优先增加独立 critic 数量（width）并合并反馈后一次修订，比多轮 review（depth）更省总成本（约 19% lower）；避免让主 agent 多次重复执行。